Context Language Models
上下文语言模型:让模型原生管理自身上下文
🧭 Agent 上下文管理 · 原生可编辑上下文 ★ 深度解读
University of Washington · Meta Superintelligence Labs · MIT · Trillium Labs
提出 Context Language Models,将上下文作为可编辑文件交给模型原生管理,在长 horizon Agent 任务上同时提升效果并降低推理成本
📌 工作参考价值(4 点)
- 长会话电商导购/客服 Agent:让模型自主编辑上下文文件(用户画像、候选商品、搜索过程),用 Bash/Python 原地更新、精简、备份,替代固定 summary 或人工工具,降低 token 成本并提升效果。
- 多 Agent 工作流(并行选品、多路召回协调):维护多个上下文文件/内部 tracker,orchestrator 以原地编辑管理状态,减少重复传递。
- 在线推理优化:用户多轮修改筛选条件/商品 id 时,用 Suffix Cache Reuse 复用未变 suffix 的 KV cache,降低重 prefill FLOPs,适合高并发推荐服务。
- 训练 RL 时用 success-gated efficiency advantage,仅对成功轨迹施加 FLOPs 优势,避免失败轨迹获得效率奖励;stepwise GRPO 处理非连续上下文编辑。